Diego Duarte nació en Amberes, hijo de Gaspar Duarte I y de Catharina Rodrigues. Su padre era un comerciante de diamantes y arte de origen portugués-sefardita establecido en Amberes, que fue amigo del poeta Constantijn Huygens. Gaspar era hijo de Diego Duarte I, y nació en 1584 en Amberes. Más tarde se convirtió en cónsul de Portugal en Amberes. En 1635, Diego I fue nombrado 'joyero ordinario' por Carlos I de Inglaterra, pero regresó a Amberes en 1642.

Diego Duarte probablemente recibió la misma educación musical que sus hermanas y hermanos, pero se desconoce qué instrumento interpretaba, ya que aparentemente no actuó en presencia de invitados. Sin embargo, se sabe que puso música a varios poemas de William Cavendish y a las paráfrasis de Los salmos de Antoine Godeau (1673-1685), obras musicales dedicadas a Huygens. No se conserva ninguna de estas piezas, que probablemente fueron escritas para voz y bajo continuo.

Diego tuvo una larga correspondencia y amistad con el hijo de Constantijn Huygens. La casa de los Duarte en Amberes fue llamada el Parnaso de Amberes, un lugar de encuentro para intelectuales que disfrutaban del arte y la música. El rey Guillermo III de Inglaterra permaneció en la casa repetidamente entre 1674 y 1678. El hermano de Diego, Gaspar Duarte II era también coleccionista de arte, y su hermana mayor Leonora era compositora. Recibió una parte de la colección de arte de su padre a su muerte en 1653, y continuó coleccionando a lo largo de su vida. Parte de su colección fue vendida en Amsterdam en 1682. Unas 200 pinturas de la colección de Diego fueron heredadas por su sobrino Manuel Levy Duarte. Entre estas se encuentran obras de Pieter Bruegel el Viejo, Caravaggio, Giorgione, Hans Holbein el Joven, Parmigianino, Raphael Sanzio, Guido Reni, José Ribera, Peter Paul Rubens, Andrea del Sarto, Tintoretto, Tiziano, Anthony van Dyck, Jan van Eyck, Lucas van Leyden y Jan Vermeer. La mayoría fueron vendidas entre 1693 y 1696.

Después de la muerte sin hijos de Diego Duarte, último sobreviviente de los hermanos, ningún Duarte permaneció en Amberes.